A corpus-specific clinical RAG system matches or outperforms newer frontier LLMs on HealthBench
语料特定的临床 RAG 系统在 HealthBench 上匹敌或超越新前沿 LLM
🧭 领域特定 RAG 系统评估
领域特定 RAG 通过定制语料在开放基准上与最新前沿 LLM 打平或领先，验证语料特异性对 grounding 的作用
📌 工作参考价值（4 点）
- 电商/客服领域 RAG 可借鉴「语料特异性」：把平台规则、商品政策、本地化约束、用户历史上下文等做成强约束检索源，能提升事实 grounding，不一定需要最大模型；具体做法是让检索 top-k 覆盖业务规则和场景化文档，并在 prompt 中显式要求优先依据检索证据回答。
- 评估模型和 judge 最好不共享家族/血缘，否则分数会系统性高估；可以用中立开源模型（如不同厂商模型）做第二评判，看结论是否稳健，尤其关注「准确性」「完整性」和「沟通分数」的分维度变化，避免只看总分。
- 当业务知识库足够垂直时，专用 RAG + 中等生成模型可对标甚至压过通用大模型，但会牺牲表达流畅度；产品上可以用 RAG 保证准确，再用后处理或改写模型补偿沟通体验。
- 消融「语料范围」是个高价值实验：把知识库从通用语料换成店铺/行业/活动强相关语料，观察同一 LLM 的准确率变化，即可量化语料特异性收益。